RangeSWA: Training-Free Length Extrapolation for Continuous Diffusion Language Models
RangeSWA：连续扩散语言模型的免训练长度外推
🧭 连续扩散语言模型 · 长度外推
Clemson University · University of Ottawa · PayPal · actA V A AI
提出训练无关的 RangeSWA，通过滑动窗口+远程块摘要+动态检索缓解连续扩散语言模型长文本生成的重复与漂移
📌 工作参考价值（4 点）
- 长序列生成（如商品详情文案、营销邮件、多轮对话 Agent 的长期记忆）可借鉴“局部窗口 + 远程块摘要 + 检索”的混合注意力策略：不重新训练，只改推理时 attention mask 和 token 组织，减少长输出的重复和跑题。
- 位置重映射与条件注意力校正的思路可迁移到已有 LLM/扩散推荐模型做长度外推：将训练时位置范围线性/非线性映射到更长范围，同时对 conditioning 的注意力权重做校正，避免因训练分布偏移导致的崩溃。
- 去噪阶段自适应窗口调度值得在扩散式生成推荐（如连续扩散生成 item embedding 或描述）中尝试：前期大窗口保持全局一致性，后期缩小窗口强化局部细节，可平衡多样性与准确性。
- 但连续扩散语言模型本身在电商/广告场景尚未成为主流，落地需先评估该范式与自回归模型相比在成本、延迟上的优势；该方法主要为学术贡献，工程迁移门槛较高。